Ông được cho là người đã gây ra một sai lầm lớn trong lịch sử nước Mĩ, đó là ngay sau cuộc nội chiến, Andrew Johnson đã quyết định đứng về phía người da trắng tại các bang miền nam và ngăn cản việc mở rộng quyền con người ở các bang miền nam (tại các bang miền nam chỉ bãi bỏ chế độ nô lệ mà thôi). "Nước Mỹ vẫn đang tiếp tục phải trả giá cho sai lầm của Andrew Johnson", - đó là ý kiến của giáo sư sử học danh dự Michael Le Benedict thuộc trường đại học Ohio.